01. 项目简介

四轴飞行器 或 四轴飞行器无人机 在个人和专业应用领域都变得越来越热门。它易于操控，并广泛应用于各个领域，从最后一公里投递到电影摄影，从杂技表演到搜救，无所不包。

大多数四轴飞行器有四个提供推力的发动机，虽然有些飞行器有 6 个或 8 个发动机，也叫做四轴飞行器。有多个推力点并且重力在中心位置改善了稳定性，可以完成多种飞行动作。

但是也存在一定的代价，此类飞行器控制起来非常复杂，几乎无法手动控制每个发动机的推力。因此大部分商业四轴飞行器通过接受一个推力大小和俯仰/偏航/翻滚控件简化飞行控件，这样操作起来更直观并且更有趣。

下一步改进是让四轴飞行器能够自动完成一些控制行为，例如起飞和着陆。你可以通过经典方法（例如实现 PID 控制器）设计这些控件。或者，你可以使用强化学习构建自己学习这些行为的智能体。我们将在这个项目中采用强化学习方法！

你将使用一个简单的模拟环境，该环境由 Unity 3D 游戏引擎提供支持。你的智能体将通过 ROS（机器人操作系统）与该模拟环境互动。注意，OpenAI Gym 环境的执行步骤与智能体保持同步，而该模拟环境则不同，它将持续实时地运行。因此，你获得的经验元组不能保证在一段时间内会保持相同的空间划分。你的智能体在每次观察时将获得时间戳，可能需要考虑这些时间戳。